بحران تکرارپذیری: درک و رسیدگی به اعتبار پژوهش

در سال‌های اخیر، نگرانی فزاینده‌ای در جامعه علمی پدید آمده است که اغلب از آن با عنوان «بحران تکرارپذیری» یاد می‌شود. این بحران، نرخ هشداردهنده‌ای را نشان می‌دهد که در آن، یافته‌های پژوهشی در رشته‌های مختلف، توسط پژوهشگران مستقل قابل تکرار یا بازتولید نیستند. این موضوع، پرسش‌های بنیادینی را در مورد اعتبار و روایی پژوهش‌های منتشر شده مطرح می‌کند و پیامدهای گسترده‌ای برای علم، سیاست‌گذاری و جامعه دارد.

بحران تکرارپذیری چیست؟

بحران تکرارپذیری صرفاً به موارد معدودی از آزمایش‌های ناموفق محدود نمی‌شود. این بحران نمایانگر یک مسئله سیستماتیک است که در آن، بخش قابل توجهی از یافته‌های پژوهشی منتشر شده، به طور مستقل قابل تأیید نیستند. این موضوع می‌تواند به چندین شکل بروز کند:

• شکست در تکرار (Replication Failure): ناتوانی در به دست آوردن نتایج یکسان هنگام تکرار یک مطالعه با استفاده از مواد و روش‌های مشابه مطالعه اصلی.
• شکست در بازتولید (Reproducibility Failure): ناتوانی در به دست آوردن نتایج یکسان هنگام تحلیل مجدد داده‌های اصلی با استفاده از همان روش‌های تحلیلی.
• مشکلات تعمیم‌پذیری: زمانی که یافته‌های یک مطالعه خاص را نمی‌توان به جمعیت‌ها، زمینه‌ها یا تنظیمات مختلف تعمیم داد.

مهم است که بین تکرار (replication) و بازتولید (reproducibility) تمایز قائل شویم. تکرار شامل انجام یک مطالعه کاملاً جدید برای آزمودن فرضیه اصلی است، در حالی که بازتولید بر تحلیل مجدد داده‌های اصلی برای تأیید نتایج تمرکز دارد. هر دو برای اثبات استواری یافته‌های علمی حیاتی هستند.

گستره مشکل: رشته‌های تحت تأثیر

بحران تکرارپذیری به یک رشته خاص محدود نمی‌شود؛ بلکه طیف گسترده‌ای از رشته‌ها را تحت تأثیر قرار می‌دهد، از جمله:

• روانشناسی: این رشته در خط مقدم اذعان به این بحران قرار داشته است و مطالعاتی نرخ پایین تکرارپذیری آزمایش‌های کلاسیک روانشناسی را نشان داده‌اند. به عنوان مثال، پروژه «همکاری علم باز» (Open Science Collaboration) تلاش کرد تا ۱۰۰ مطالعه منتشر شده در مجلات معتبر روانشناسی را تکرار کند و دریافت که تنها ۳۶٪ از تکرارها نتایج آماری معناداری در همان جهت مطالعه اصلی تولید کردند.
• پزشکی و تحقیقات زیست‌پزشکی: عدم تکرار یافته‌ها در تحقیقات پیش‌بالینی می‌تواند پیامدهای جدی برای توسعه داروها و کارآزمایی‌های بالینی داشته باشد. مطالعات نشان داده‌اند که درصد قابل توجهی از یافته‌های پیش‌بالینی در زمینه‌هایی مانند تحقیقات سرطان قابل تکرار نیستند، که منجر به هدر رفتن منابع و آسیب احتمالی به بیماران می‌شود. یک مطالعه در سال ۲۰۱۱ توسط شرکت بایر گزارش داد که آنها تنها توانسته‌اند نتایج ۲۵٪ از مطالعات پیش‌بالینی منتشر شده‌ای را که بررسی کرده بودند، تکرار کنند. شرکت امژن نیز با چالش مشابهی روبرو شد و تنها موفق به تکرار ۱۱٪ از مطالعات «تاریخ‌ساز» در تحقیقات سرطان شد که آنها بررسی کرده بودند.
• اقتصاد: نگرانی‌ها در مورد دستکاری داده‌ها، گزارش‌دهی گزینشی و عدم شفافیت در اقتصاد نیز مطرح شده است. پژوهشگران به طور فزاینده‌ای از پیش‌ثبت‌نامی مطالعات و اشتراک‌گذاری باز داده‌ها برای بهبود اعتبار تحقیقات اقتصادی حمایت می‌کنند.
• مهندسی: اگرچه کمتر مورد بحث قرار گرفته، اما رشته‌های مهندسی نیز مستعد این مشکل هستند. نتایج شبیه‌سازی و داده‌های تجربی ممکن است به طور کامل مستند یا در دسترس قرار نگیرند، که مانع از تأیید مستقل ادعاهای طراحی می‌شود.
• علوم اجتماعی: مانند روانشناسی، سایر علوم اجتماعی مانند جامعه‌شناسی و علوم سیاسی نیز با چالش‌هایی در تکرار پدیده‌های پیچیده اجتماعی و نتایج نظرسنجی‌ها روبرو هستند.

علل بحران تکرارپذیری

بحران تکرارپذیری یک مشکل چندوجهی با چندین عامل دخیل است:

• سوگیری انتشار (Publication Bias): مجلات اغلب تمایل به انتشار نتایج مثبت یا آماری معنادار دارند، که منجر به سوگیری علیه یافته‌های منفی یا غیرقطعی می‌شود. این «مشکل کشوی بایگانی» (file drawer problem) به این معناست که بخش قابل توجهی از تحقیقاتی که یک فرضیه را تأیید نمی‌کنند، منتشر نشده باقی می‌مانند و تصویر کلی را مخدوش می‌کنند.
• معناداری آماری و پی-هکینگ (P-Hacking): اتکای بیش از حد به مقادیر پی (p-values) به عنوان تنها معیار برای قضاوت در مورد اهمیت نتایج می‌تواند منجر به «پی-هکینگ» شود، جایی که پژوهشگران داده‌ها یا روش‌های تحلیل را برای به دست آوردن نتایج آماری معنادار دستکاری می‌کنند، حتی اگر این نتایج ساختگی باشند. این شامل تکنیک‌هایی مانند افزودن یا حذف نقاط داده، تغییر آزمون آماری، یا گزارش‌دهی گزینشی تنها یافته‌های معنادار از میان تحلیل‌های متعدد است.
• عدم شفافیت و اشتراک‌گذاری داده‌ها: بسیاری از پژوهشگران داده‌ها، کدها یا روش‌های دقیق خود را به اشتراک نمی‌گذارند، که تأیید یافته‌هایشان توسط دیگران را غیرممکن می‌سازد. این عدم شفافیت مانع از تلاش‌های مستقل برای تکرار و بازتولید می‌شود. داده‌ها یا نرم‌افزارهای اختصاصی، و همچنین نگرانی‌های مربوط به محرمانگی، نیز می‌توانند در این امر سهیم باشند.
• آموزش ناکافی در روش‌های تحقیق و آمار: آموزش ناکافی در زمینه طراحی دقیق پژوهش، تحلیل آماری و مدیریت داده‌ها می‌تواند منجر به خطاها و سوگیری‌ها در پژوهش شود. پژوهشگران ممکن است از بهترین شیوه‌ها برای تضمین تکرارپذیری آگاه نباشند و ناخواسته درگیر اقداماتی شوند که اعتبار یافته‌هایشان را تضعیف می‌کند.
• انگیزه‌ها برای نوآوری و تأثیرگذاری: سیستم پاداش‌دهی دانشگاهی اغلب یافته‌های نوآورانه و تأثیرگذار را بر تحقیقات دقیق و تکرارپذیر ترجیح می‌دهد. این امر می‌تواند پژوهشگران را تشویق کند که راه‌های میانبر را انتخاب کنند، درگیر شیوه‌های پژوهشی مشکوک شوند یا در مورد اهمیت نتایج خود اغراق کنند تا بتوانند در مجلات معتبر منتشر کنند.
• پیچیدگی پژوهش: برخی از حوزه‌های پژوهشی، به‌ویژه آنهایی که شامل سیستم‌های پیچیده یا مجموعه داده‌های بزرگ هستند، ذاتاً برای بازتولید دشوارند. عواملی مانند تغییرات در شرایط آزمایشگاهی، تفاوت‌های ظریف در پردازش داده‌ها و تصادفی بودن ذاتی سیستم‌های پیچیده می‌توانند دستیابی به نتایج ثابت در مطالعات مختلف را چالش‌برانگیز کنند.
• تقلب و سوء رفتار: اگرچه کمتر رایج است، اما موارد تقلب آشکار یا جعل داده‌ها نیز به بحران تکرارپذیری کمک می‌کنند. این موارد، هرچند نسبتاً نادر، اعتماد عمومی به علم را تضعیف کرده و اهمیت اخلاق پژوهشی قوی و نظارت را برجسته می‌کنند.

پیامدهای بحران تکرارپذیری

پیامدهای بحران تکرارپذیری گسترده بوده و جنبه‌های مختلف علم و جامعه را تحت تأثیر قرار می‌دهد:

• فرسایش اعتماد عمومی به علم: زمانی که یافته‌های پژوهشی غیرقابل اعتماد تشخیص داده می‌شوند، می‌تواند اعتماد عمومی به علم و دانشمندان را از بین ببرد. این امر می‌تواند پیامدهای منفی برای حمایت عمومی از بودجه تحقیقاتی، پذیرش شواهد علمی و تمایل به اتخاذ سیاست‌های مبتنی بر علم داشته باشد.
• اتلاف منابع: تحقیقات غیرقابل تکرار، اتلاف قابل توجهی از منابع، از جمله زمان، پول و تلاش را به همراه دارد. زمانی که مطالعات قابل تکرار نیستند، به این معناست که سرمایه‌گذاری اولیه در آن تحقیق اساساً هدر رفته است و تحقیقات بعدی بر اساس آن یافته‌های غیرقابل اعتماد نیز ممکن است گمراه‌کننده باشد.
• کندی پیشرفت در علم: بحران تکرارپذیری می‌تواند با منحرف کردن منابع و توجه از تحقیقات معتبر، سرعت پیشرفت علمی را کاهش دهد. زمانی که پژوهشگران وقت و تلاش خود را صرف تلاش برای تکرار یافته‌های غیرقابل اعتماد می‌کنند، توانایی آنها برای انجام تحقیقات جدید و دستیابی به پیشرفت‌های واقعی در زمینه خود کاهش می‌یابد.
• آسیب به بیماران و جامعه: در زمینه‌هایی مانند پزشکی و بهداشت عمومی، تحقیقات غیرقابل تکرار می‌توانند پیامدهای مستقیمی برای بیماران و جامعه داشته باشند. به عنوان مثال، اگر یک دارو یا درمان بر اساس تحقیقات غیرقابل اعتماد باشد، ممکن است بی‌اثر یا حتی مضر باشد. به همین ترتیب، اگر سیاست‌های بهداشت عمومی بر اساس داده‌های ناقص باشند، می‌توانند منجر به عواقب ناخواسته شوند.
• آسیب به مشاغل علمی: پژوهشگرانی که درگیر تحقیقات غیرقابل تکرار هستند، ممکن است به حرفه خود آسیب برسانند. این می‌تواند شامل مشکل در تأمین بودجه، انتشار در مجلات معتبر و تضمین موقعیت‌های دانشگاهی باشد. فشار برای انتشار و ماهیت رقابتی تحقیقات دانشگاهی می‌تواند پژوهشگران را تشویق به نادیده گرفتن برخی اصول و درگیر شدن در شیوه‌های پژوهشی مشکوک کند که در نهایت به حرفه آنها آسیب می‌رساند.

رسیدگی به بحران تکرارپذیری: راهکارها و استراتژی‌ها

رسیدگی به بحران تکرارپذیری نیازمند یک رویکرد چندوجهی است که شامل تغییر در شیوه‌های پژوهشی، انگیزه‌ها و سیاست‌های نهادی است:

• ترویج شیوه‌های علم باز: شیوه‌های علم باز، مانند اشتراک‌گذاری داده‌ها، اشتراک‌گذاری کدها و پیش‌ثبت‌نامی مطالعات، برای بهبود تکرارپذیری ضروری هستند. داده‌های باز به سایر پژوهشگران اجازه می‌دهد تا یافته‌های اصلی را تأیید کرده و تحلیل‌های بیشتری انجام دهند. پیش‌ثبت‌نامی با الزام پژوهشگران به مشخص کردن فرضیه‌ها، روش‌ها و برنامه‌های تحلیلی خود از قبل، به جلوگیری از پی-هکینگ و گزارش‌دهی گزینشی کمک می‌کند. پلتفرم‌هایی مانند چارچوب علم باز (OSF) منابع و ابزارهایی برای اجرای شیوه‌های علم باز فراهم می‌کنند.
• بهبود آموزش و روش‌های آماری: ارائه آموزش بهتر به پژوهشگران در زمینه روش‌های آماری و طراحی پژوهش برای جلوگیری از خطاها و سوگیری‌ها حیاتی است. این شامل آموزش به پژوهشگران در مورد محدودیت‌های مقادیر پی، اهمیت اندازه‌های اثر و پتانسیل پی-هکینگ است. همچنین شامل ترویج استفاده از روش‌های آماری قوی‌تر مانند آمار بیزی و فراتحلیل است.
• تغییر ساختار انگیزشی: سیستم پاداش‌دهی دانشگاهی باید اصلاح شود تا تحقیقات دقیق و تکرارپذیر را بر نوآوری و تأثیرگذاری اولویت دهد. این شامل شناسایی و پاداش دادن به پژوهشگران برای اشتراک‌گذاری داده‌ها، مطالعات تکراری و مشارکت در علم باز است. مجلات و سازمان‌های تأمین مالی نیز باید وزن بیشتری به دقت روش‌شناختی پروپوزال‌های پژوهشی و مقالات بدهند.
• تقویت داوری همتا: داوری همتا نقش حیاتی در تضمین کیفیت و اعتبار تحقیقات دارد. با این حال، فرآیند داوری همتا اغلب ناقص است و می‌تواند مستعد سوگیری باشد. برای بهبود داوری همتا، مجلات باید اجرای فرآیندهای بازبینی شفاف‌تر و دقیق‌تر را در نظر بگیرند، مانند الزام داوران به ارزیابی کیفیت داده‌ها، کدها و روش‌ها. آنها همچنین باید داوران را تشویق کنند که بر دقت روش‌شناختی تحقیق تمرکز کنند نه فقط بر نوآوری یافته‌ها.
• ترویج مطالعات تکراری: مطالعات تکراری برای تأیید اعتبار یافته‌های پژوهشی ضروری هستند. با این حال، مطالعات تکراری اغلب کم‌ارزش و کم‌بودجه هستند. برای رفع این مشکل، سازمان‌های تأمین مالی باید منابع بیشتری را به مطالعات تکراری اختصاص دهند و مجلات باید تمایل بیشتری به انتشار آنها داشته باشند. پژوهشگران نیز باید تشویق شوند که مطالعات تکراری انجام دهند و یافته‌های خود را به صورت عمومی در دسترس قرار دهند.
• تقویت اخلاق و یکپارچگی پژوهش: تقویت اخلاق و یکپارچگی پژوهش برای جلوگیری از تقلب و سوء رفتار حیاتی است. این شامل ارائه آموزش به پژوهشگران در زمینه رفتار اخلاقی، ترویج فرهنگ شفافیت و پاسخگویی، و ایجاد رویه‌های روشن برای بررسی اتهامات سوء رفتار است. مؤسسات همچنین باید سیاست‌هایی را برای محافظت از افشاگران و تضمین اینکه پژوهشگران به دلیل گزارش سوء رفتار مجازات نمی‌شوند، اجرا کنند.
• توسعه و اتخاذ دستورالعمل‌های گزارش‌دهی: دستورالعمل‌های گزارش‌دهی استاندارد، مانند دستورالعمل‌های CONSORT برای کارآزمایی‌های بالینی و دستورالعمل‌های PRISMA برای مرورهای سیستماتیک، می‌توانند به بهبود شفافیت و کامل بودن گزارش‌های پژوهشی کمک کنند. این دستورالعمل‌ها چک‌لیست‌هایی از اطلاعاتی را که باید در گزارش‌های پژوهشی گنجانده شوند، ارائه می‌دهند و ارزیابی کیفیت و اعتبار تحقیق را برای خوانندگان آسان‌تر می‌کنند. مجلات باید نویسندگان را تشویق کنند که از این دستورالعمل‌ها پیروی کنند و آموزش و منابعی برای کمک به آنها فراهم کنند.

نمونه‌هایی از طرح‌ها و سازمان‌های رسیدگی‌کننده به بحران

چندین طرح و سازمان به طور فعال برای رسیدگی به بحران تکرارپذیری تلاش می‌کنند:

• چارچوب علم باز (OSF): یک پلتفرم رایگان و متن‌باز که با ارائه ابزارهایی برای اشتراک‌گذاری داده‌ها، اشتراک‌گذاری کدها، پیش‌ثبت‌نامی و همکاری، از شیوه‌های علم باز پشتیبانی می‌کند.
• مرکز علم باز (COS): سازمانی که به ترویج شیوه‌های علم باز و بهبود تکرارپذیری پژوهش اختصاص دارد. COS تحقیقات انجام می‌دهد، ابزارها را توسعه می‌دهد و آموزش‌هایی را برای کمک به پژوهشگران در اتخاذ شیوه‌های علم باز ارائه می‌دهد.
• گزارش‌های ثبت‌شده (Registered Reports): یک قالب انتشار که در آن مطالعات قبل از جمع‌آوری داده‌ها داوری همتا می‌شوند و پذیرش بر اساس طراحی مطالعه و منطق آن است، نه نتایج. این به کاهش سوگیری انتشار و پی-هکینگ کمک می‌کند.
• پروژه‌های چند آزمایشگاهی (Many Labs Projects): پروژه‌های مشترک در مقیاس بزرگ که مطالعات را در چندین آزمایشگاه تکرار می‌کنند تا تعمیم‌پذیری یافته‌ها را ارزیابی کنند.
• پروژه تکرارپذیری: زیست‌شناسی سرطان: طرحی برای تکرار مجموعه‌ای از مقالات تأثیرگذار در زمینه زیست‌شناسی سرطان برای ارزیابی تکرارپذیری تحقیقات سرطان.
• AllTrials: کمپینی که خواستار ثبت تمام کارآزمایی‌های بالینی و گزارش نتایج آنها است.

دیدگاه‌های جهانی در مورد تکرارپذیری

بحران تکرارپذیری یک مسئله جهانی است، اما چالش‌ها و راه‌حل‌ها ممکن است در کشورها و مناطق مختلف متفاوت باشد. عواملی مانند بودجه تحقیقاتی، فرهنگ دانشگاهی و چارچوب‌های نظارتی می‌توانند بر تکرارپذیری تحقیقات تأثیر بگذارند. برای مثال:

• اروپا: کمیسیون اروپا طرح‌هایی را برای ترویج علم باز و بهبود یکپارچگی پژوهش در سراسر اتحادیه اروپا راه‌اندازی کرده است. این طرح‌ها شامل تأمین مالی برای انتشار با دسترسی آزاد، اشتراک‌گذاری داده‌ها و آموزش در زمینه اخلاق پژوهش است.
• آمریکای شمالی: مؤسسه ملی بهداشت (NIH) در ایالات متحده سیاست‌هایی را برای ترویج دقت و تکرارپذیری در تحقیقات زیست‌پزشکی اجرا کرده است. این سیاست‌ها شامل الزاماتی برای اشتراک‌گذاری داده‌ها، پیش‌ثبت‌نامی کارآزمایی‌های بالینی و آموزش در زمینه روش‌های آماری است.
• آسیا: کشورهایی مانند چین و هند به شدت در تحقیق و توسعه سرمایه‌گذاری می‌کنند، اما آنها نیز با چالش‌هایی در تضمین کیفیت و اعتبار تحقیقات روبرو هستند. آگاهی فزاینده‌ای از بحران تکرارپذیری در آسیا وجود دارد و تلاش‌هایی برای ترویج علم باز و بهبود اخلاق پژوهش در حال انجام است.
• آفریقا: کشورهای آفریقایی به دلیل منابع و زیرساخت‌های محدود با چالش‌های منحصر به فردی در انجام و تکرار تحقیقات روبرو هستند. با این حال، شناخت فزاینده‌ای از اهمیت علم باز و اشتراک‌گذاری داده‌ها در آفریقا وجود دارد و طرح‌هایی برای ترویج این شیوه‌ها در حال انجام است.

آینده اعتبار پژوهش

رسیدگی به بحران تکرارپذیری یک فرآیند مداوم است که نیازمند تلاش و همکاری مستمر از سوی پژوهشگران، مؤسسات، سازمان‌های تأمین مالی و مجلات است. با ترویج شیوه‌های علم باز، بهبود آموزش آماری، تغییر ساختار انگیزشی، تقویت داوری همتا و ارتقاء اخلاق پژوهش، می‌توانیم اعتبار و روایی تحقیقات را بهبود بخشیم و یک نهاد علمی قابل اعتمادتر و تأثیرگذارتر بسازیم.

آینده پژوهش به توانایی ما در رسیدگی به بحران تکرارپذیری و تضمین اینکه یافته‌های علمی استوار، معتبر و قابل تعمیم هستند، بستگی دارد. این امر نیازمند یک تغییر فرهنگی در نحوه انجام و ارزیابی تحقیقات ما خواهد بود، اما مزایای چنین تغییری عظیم خواهد بود و منجر به پیشرفت سریع‌تر در علم، نتایج بهتر برای بیماران و جامعه و اعتماد عمومی بیشتر به نهاد علمی خواهد شد.

بینش‌های عملی برای پژوهشگران

در اینجا چند گام عملی وجود دارد که پژوهشگران می‌توانند برای بهبود تکرارپذیری کار خود بردارند:

• مطالعات خود را پیش‌ثبت‌نامی کنید: از پلتفرم‌هایی مانند OSF برای پیش‌ثبت‌نامی فرضیه‌ها، روش‌ها و برنامه‌های تحلیلی خود قبل از جمع‌آوری داده‌ها استفاده کنید.
• داده‌ها و کدهای خود را به اشتراک بگذارید: در صورت امکان، داده‌ها، کدها و مواد خود را به صورت عمومی در دسترس قرار دهید.
• از روش‌های آماری دقیق استفاده کنید: با یک آمارشناس مشورت کنید و از روش‌های آماری مناسب برای تحلیل داده‌های خود استفاده کنید.
• تمام نتایج را گزارش دهید: از گزارش‌دهی گزینشی خودداری کنید و تمام یافته‌ها، از جمله نتایج منفی یا غیرقطعی را گزارش دهید.
• مطالعات تکراری انجام دهید: سعی کنید یافته‌های خود را تکرار کنید و دیگران را نیز به این کار تشویق کنید.
• از دستورالعمل‌های گزارش‌دهی پیروی کنید: به دستورالعمل‌های گزارش‌دهی مانند CONSORT و PRISMA برای تضمین شفافیت و کامل بودن پایبند باشید.
• در کارگاه‌ها و جلسات آموزشی شرکت کنید: به طور مداوم دانش و مهارت‌های خود را در روش‌های تحقیق و آمار بهبود بخشید.
• از علم باز حمایت کنید: شیوه‌های علم باز را در مؤسسه و جامعه خود ترویج دهید.

با برداشتن این گام‌ها، پژوهشگران می‌توانند به یک نهاد علمی معتبرتر و قابل اعتمادتر کمک کرده و به رسیدگی به بحران تکرارپذیری یاری رسانند.